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(57) Abstract 



In order to generate an improved image signal in motion assessment, 
an exact pixel determination of a moving vector is initially carried out, 
followed by a two-step interpolation filtering at exact subpixel resolution. The 
interpolation coefficients are chosen with the purpose of reducing aliasing. A 
larger number of adjacent pixels are used in comparison with conventional 
interpolation methods. The quality of the prediction signal for moving images 
can be thus improved, thereby enhancing coding efficiency. 
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Zur Erzeugung eines verbessetten Bildsignals bei der Bewc- 
gungsschatzung erfolgt zuerst eine pelgenaue Bestimmung eines 
Bewegungsvektors und anschlieBend eine zweistufige Interpolationsfilterung 
auf Sub-Pelgenauigkeit Die Interpolationskoeffizienten werden hinsichtlich 
einer Aliasing-Reduzierung gewahlt. Zur Interpolation werden mehr 

Nachbarbildpunkte herangezogen als bei tiblichen Interpolationsverfahren. Die Qualitat eines Pradiktionssignals fiir Bewegungsbilder la6t 
sich verbessem und damit die Codierungsefflzienz steigern. 
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INTERPOLATTONSFILTERUNGSVERFAHREN FOR SUB-PELGENAUIGKETT-BEWEGUNGSSCHATZUNG 



15 Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur Erzeugung 
eines verbesserten Bildsignals bei der Bewegungsschatzung 
von Bildsequenzen, insbesondere eines Pradiktionssignals fur 
20 Bewegtbilder mit be we gungskomp ens ie render Pradiktion, wobei 

fur Bildblocke Bewegungsvektoren gebildet werden, die fur 
jeden Bildblock eines aktuellen Bildes die Position des zur 
Pradiktion benutzten Bildblockes gegenuber einem zeitlich 
davorliegenden Referenzbild angeben. 

25 

Aus der EP 0 558 922 B2 ist ein Verfahren zur Verbesserung 
der Bewegungsschatzung in Bildsequenzen in 

Halbpelgenauigkeit nach dem Full-Search-Verf ahren bekannt . 
Dort wird in einem ersten Verf ahrensschritt der Suchbereich 
3 0 und in einem zweiten Verf ahrensschritt der Match-Block 

gefiltert unter Zuhilfenahme eines zusatzlichen digitalen 
Filters, dafi eine Rasterverschiebung des Bildpunktrasters urn 
Va pel ermoglicht. Mit dieser Mafinahme ist eine Verfalschung 
des Bewegungsvektorf eldes auszuschliefcen . 
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Beim „MPEG-4 Video Verification Model Version 7.0", Bristol, 
April 1997, MPEG 97/N1642 in ISO/IEC JTCl/SC 29/WGll ist ein 
Encoder und Decoder zur objektbasierten Codierung von 
Bewegtbildf olgen spezif iziert . Dabei werden nicht mehr 
5 rechteckige Bilder fester GroSe codiert und zum Empf anger 

ubertragen, sondern sogenannte VIDEO OBJECTS (VO) , welche 
beliebige Form und Grofie aufweisen diirfen. Die Abbildung 
eines solchen VO in der Kamerabildebene zu einem bestimmten 
Zeitpunkt wird als VIDEO OBJECTS PLANE (VOP) bezeichnet . 
10 Somit ist die Beziehung zwischen VO und VOP Equivalent zu 

der Beziehung zwischen Bildfolge und Bild im Falle der 
Ubertragung rechteckiger Bilder fester Grdfce . 

Die bewegungskompensierende Pradiktion im 
15 Verif ikat ionsmodell wird mit Hilfe sogenannter blockweiser 

Bewegungsvektoren durchgef iihrt , die fur jeden Block der 
GroSe 8x8 bzw. 16 x 16 Bildpunkte des aktuellen Bildes die 
Position des zur Pradiktion benutzten Blockes in einem 
bereits ubertragenen Referenzbild angeben. Die Auflosung der 
2 0 Bewegungsvektoren ist dabei auf einen halben Bildpunkt 

beschrankt, wobei Bildpunkte zwischen dem Abtastraster (half 
pixel position) durch eine bilineare Interpolationsf ilterung 
aus den Bildpunkten auf dem Abtastraster (integer pixel 
position) erzeugt werden (Figur 1) .+ gibt hierbei die 
25 Ganzzahl-Pixel-Position und O die Halb-Pixel -Position an. 

Die interpolierten Werte a, b, c und d in Halb-Pixel- 
Position ergeben sich durch folgende Beziehungen: 
a = A, b = (A + B)//2, c = (A + C)//2, 

d= (A+B+C+ D)//4, wobei // eine gerundete Ganzzahl- 
30 Division kennzeichnet . 

Vorteile der Erfindung 



35 



Mit den MaiSnahmen der Erfindung laSt sich die Qualitat des 
Pradiktionssignals und somit die Kodierungsef f izienz 
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verbessern. Dabei wird zur Erzeugung von Bildpunkten 
zwischen dem Bi 1 dpunkt -Abt as t raster eine grofiere ortliche 
Nachbarschaf t berucksichtigt , als bei der bilinearen 
Interpolation. Die erf indungsgemafie aliasing- reduzierende 
5 Interpolationsf ilterung fiihrt zu einer erhohten Auflosung 

des Bewegungsvektors und damit zu einem Pradiktionsgewinn 
und einer erhohten Codierungsef f izienz . Bei der Erfindung 
konnen die FIR- Filterkoef f izienten den zu codierenden 
Signalen angepafet und fur jedes Video-Object getrennt 
10 vibertragen werden, was eine weitere Ef f izienzerhohung fur 

die Codierung ermoglicht sowie die Flexibilitat des 
Verf ahrens erhoht . 



Im Gegensatz zur Losung gemaS der EP 0 558 922 Bl mussen 
15 keine zusatzlichen Polyphasenf ilterstrukturen fur 

2wischenpositionen mit X A pel -Bildpunkt auflosung in 
horizontaler und vertikaler Richtung entworfen werden. 

Mit den Mafenahmen der Erfindung ist es moglich, dafi bei 
20 gleichbleibender Datenrate die Bildf olgef requenz eines MPEG- 

1-Coders von 25 Hz auf 50 Hz verdoppelt werden kann. Bei 
einem MPEG2 -Coder kann die Datenrate bei gleichbleibender 
Bildqualitat urn bis zu 30% reduziert werden. 

25 Zeichnungen 



Anhand von Zeichnungen werden nun Ausfuhrungbeispiele der 
Erfindung naher erlautert . Es zeigen: 

3 0 Figur 2 ein Interpolationsschema fur Bildpunkte zwischen dem 

Bi Idpunkt -Abtast raster , 

Figur 3 die Struktur eines FIR-Filters zur Interpolation, 
Figur 4 eine weitere Interpolation mit noch hoherer 
Auflosung . 



35 
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Beschreibung von Ausf uhrungsbeispielen 



Beim Verfahren nach der Erf indung werden fur Bildblocke 
Bewegungsvektoren gebildet, die fur jeden Bildblock eines 
5 aktuellen Bildes die Position des zur Pradiktion benutzten 

Bildblockes gegenuber einem zeitlich davorliegenden 
Referenzbild angeben. 

Die Bestimmung der Bewegungsvektoren fur die Pradiktion 
erfolgt in drei auf einanderf olgenden Schritten: 
In einem ersten Suchschritt wird ein Bewegungsvektor mit 
Pelgenauigkeit nach einem herkommlichen Verfahren, z.B. nach 
der Full -Search-Block-Matching-Methode , fur jeden Bildblock 
bestimmt . Hierbei wird das Minimum des Fehlerkriteriums fur 
mogliche Bewegungspositionen ermittelt und jener Vektor, der 
die Bewegung des Bildblockes am besten beschreibt, 
ausgewahlt (EP 0 368 151 Bl) . 

In einem zweiten Suchschritt, der wiederum auf einer solchen 
2 0 Minimumsuche fur das Fehlerkriterium basiert, wird ausgehend 

von dem im ersten Schritt ermittelten Bewegungsvektor mit 
Pelgenauigkeit durch eine aliasing- reduzierende 
Interpolationsf ilterung mittels eines digitalen 
symmetrischen FIR (finite impulse response) -Filters ein 
2 5 verbesserter Bewegungsvektor auf Subpelgenauigkeit 

ermittelt- Die Auflosung wird hierbei hoher gewahlt als im 
ersten Suchschritt, vorzugsweise wird eine Auflosung von 
einem halben Bildpunkt bezogen auf das Bildpunktraster 
gewahlt. Figur 2 zeigt das Interpolationsmuster fur die 
30 Bildpunkte b, c und d zwischen dem Bildpunktraster, die sich 

aus den Nachbarbildpunkten A, B, C, D, E, F, G, H auf dem 
Bildpunktraster ergeben. + gibt die Ganzzahl-Pixelposition 
an, o die Halbpixelposition . Es gilt: 



10 



15 
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b = (C01x(A_ 1 + A +1 ) + C02x (A_ 2 + A +2 ) + C03x (A_ 3 + A +3 ) + 
C04x (A_ 4 + A +4 ))/256 

Ci = (COlxtAi + Ei) + C02x(Bi + F±) + C03x (Ci + Gi ) + 
G04x(D i + Hi) ) /256 
5 d = (COlxfc.! + c +1 ) + C02x(c_2 + c +2^ + c ° 3x ( c -3 + c +3> + 

C04x(c_4+ C +4 ) ) /256 

Die Struktur des verwendeten FIR-Interpolationsf ilters ist 
aus Figur 3 ersichtlich. Es weist nach jeder 

10 Bildpunktposition 5p einen Abzweig zu einem Koef f izienten - 

bewerter 1, 2, 3 usw. auf und eine Sumtnationseinrichtung 10 
am Ausgang. Wie aus obigen Beziehungen ersichtlich ist, wird 
zur Erzeugung von Bildpunkten zwischen dem Abtastraster eine 
grofiere ortliche Nachbarschaf t berucksichtigt , als bei der 

15 bilinearen Interpolation nach dem Stand der Technik. Die 

Interpolationsf ilterkoef f izienten C02 , C03 , C04 werden dabei 
so bestimmt, da£ die Interpolationsf ehlerleistung minimal 
wird. Die Koef f izienten konnen direkt mit dem bekannten 
Schatzverfahren des kleinsten, mittleren quadratischen 

20 Fehlers bestimmt werden. Aus der Minimierung der 

Interpolationsf ehlerleistung erhalt man ein lineares 
Gleichungssystem, dessen Koef f izienten aus dem 
Orthogonalitatsprinzip abgeleitet werden konnen. Ein derart 
optimierter Satz von FIR-Filterkoeff izienten ist durch die 

25 Koef f izienten C01 = 161/256, C02 = -43/256, C03 = 23/256, 

C04 = -8/256 gegeben. 

Im dritten Suchschritt wird ausgehend von dem auf M 
Pelgenauigkeit bestimmten Bewegungsvektor durch eine weitere 

3 0 Interpolationsf ilterung eine lokale Suche unter 

Zugrundelegung der acht Nachbarbildpunkte mit einer 
Auflosung, die noch weiter erhoht ist, vorzugsweise auf y 4 
Bildpunkt, durchgefuhrt . Es wird wie zuvor der 
Bewegungsvektor ausgewah.lt, der die geringste 

35 Pradiktionsf ehlerleistung liefert. 
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Das Interpolationsrauster hierzu zeigt Figur 4 . Die 
ganzzahligen Bildpunkt-Positionen sind mit X gekennzeichnet , 
die Halb-Pixel-Bildpunktpositionen mit o und die Viertel- 
5 Pixel -Bildpunktpositionen mit -. O markiert die beste 

Kompensation mit 1/2 -Bildpunkt und + die Viertelbildpunkt- 
Suchposition . 

Interpoliert wird beziiglich des Bildpunkt rasters mit der 
10 Auf losung von einem halben Bildpunkt aus dem zweiten 

Suchschritt mit den FIR-Filterkoef f izienten COl ' = 1/2, 
C02' = O, C03' = O, C04' = O. 

Die gleiche zuvor vorgestellte Interpolationstechnik wird 
15 fur die bewegungskompensierende Pradiktion verwendet . 

Falls die Verarbeitung innerhalb eines Coders mit einem 
reduzierten Bildformat durchgefuhrt wird (SIF- Format 
innerhalb eines MPEG1 - Coders oder Q-CIF in einem H.263- 
Coder) , zur Anzeige aber das urspriingliche Eingangs format 
verwendet wird, z.B. CCIR 601 [1] bei MPEG-1 oder CIF bei 
H.26 3, raufi als Nachverarbeitung eine ortliche 

Interpolationsf ilterung durchgefuhrt werden. Auch fur diesen 
Zweck kann die beschriebene aliasing- kompensierende- 
Interpolationsf ilterung verwendet werden. 

Um die aliasing- kompensierende Interpolation mit 1/4 Pel 
Auf losung zu aktivieren, konnen in einen Bildubertragungs- 
Bitstrom Aktivierungsbits eingefiigt werden. 
30 

Fur die Pradiktion von Video-Objekten konnen die 
Filterkoeff izienten COl bis C04 und COl ' bis C04 ' fur jedes 
der Video-Ob jekte VO getrennt aufbereitet werden und in deh 
Bildubertragungs-Bitstrom zu Beginn der Ubertragung des 
35 jeweiligen Video-Ob jekts eingefiigt werden. 



20 



25 
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Zur Codierung eines Bewegungsvektors kann der Wertebereich 
der zu codierenden Bewegungsvektor-Differenzen an die 
erhohte Auflosung angepafit werden. 
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10 Anspriiche 

1. Verfahren zur Erzeugung eines verbesserten Bildsignals 
bei der Bewegungsschatzung von Bildsequenzen , insbesondere 
eines Pradiktionssignals fur Bewegtbilder mit 

15 be wegungskompensie render Pradiktion, wobei fur Bildblocke 

Bewegungsvektoren gebildet werden, die fur jeden Bildblock 
eines aktuellen Bildes die Position des zur Pradiktion 
benutzten Bildblockes gegeniiber einem zeitlich 
davorliegenden Referenzbild angeben, mit folgenden 

20 Schritten: 

- In einem ersten Suchschritt wird ein Bewegungsvektor auf 
Pelgenauigkeit bestimmt, 

in einem zweiten Suchschritt wird ausgehend von dem 
Bewegungsvektor mit Pelgenauigkeit durch eine aliasing- 

25 reduzierende Interpolat ionsf ilterung mittels eines digitalen 

Filters ein verbesserter Bewegungsvektor auf 
Subpelgenauigkeit ermittelt, wobei die Auflosung hoher 
gewahlt ist, als es der Auflosung des Bildpunktrasters im 
ersten Suchschritt entspricht und wobei zur Interpolation 

3 0 mehr Nachbarbildpunkte he range zogen werden als bei einer 

bilinearen Interpolation, 

- in einem dritten Suchschritt wird ausgehend von dem auf 
Subpelgenauigkeit bestimmten Bewegungsvektor durch eine 
weitere Interpolationsf ilterung mittels des digitalen 

35 Filters ein weiter verbesserter Bewegungsvektor ermittelt, 



WO 99/04574 PCT/DE98/01938 

- 9 - 



wobei die Auflosung gegenuber dem zweiten Suchschritt 
nochmals erhoht wird und die Interpolation basierend auf dem 
Bildpunktraster mit der Auflosung im zweiten Suchschritt 
vorgenommen wird. 

5 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daS 
zur Interpolationsf ilterung beim zweiten Suchschritt ein 
FIR-Filter verwendet wird mit den Filterkoef f izienten COl = 
161/256, C02 = -43/256, C03 = 23/256, C04 = -8/256. 

10 

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, 
date zur Interpolationsf ilterung beim dritten Suchschritt ein 
FIR-Filter verwendet wird, mit den FIR- Filterkoef f izienten 
COl' = 1/2, C02' = 0, C03' = O, C04 ' = O. 

15 

4. Verfahren nach einem der Anspruche 1 bis 3, dadurch 
gekennzeichnet, da£ fur die Pradiktion von Video-Ob jekten 
(VO) die Filterkoef f izienten des digitalen Filters/FIR- 
Filters fur jedes Video-Objekt getrennt aufbereitet werden 

2 0 und in einen Ubertragungsbit Strom zu Beginn der Ubertragung 

des jeweiligen Objektes eingefiigt werden. 



5. Verfahren nach einem der Anspruche 1 bis 4, dadurch 
gekennzeichnet, dafi zur Codierung eines Bewegungsvektors , 
25 insbesondere fur eine Ubertragung der Wertebereich der zu 

codierende Bewegungsvektor-Dif f erenzen an eine erhohte 
Auflosung angepafit wird. 
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